JAWS UG Niigata プチキャッチアップ 2021 履歴
2021年からconnpassにて一般公開して実施。
Lambdaのコンテナイメージランタイムサポートの「Runtime interface emulator」ってどうやって始めたらいい？
雑談:
DynamoDBで集計とかはどうすればいいの？
S3にエクスポートしてから、クエリで集計かける方がいいかも
一応PartiQL対応もしているけど、まずはS3エクスポートが良さそう
お悩み相談:
モバイルアプリで写真やキャプション保存して、Excel等で一覧を出力する際にAWS使うとすると何がいい？
1. Amplify 使ってモバイルからAWSへデータ保存 (S3など) する
2. S3に写真保存する際に、API Gateway + Lambda + DynamoDBにキャプションの文字情報のデータ保存
Amplify からでもDynamoDBアクセスできるよ
3. LambdaでExcelやCSV出力のプログラム書いて実行してもいいかな
API Gatewayを用意してAPI叩くと出力することもできるし、S3にファイル置いておいてS3から取得もOK
Lightsail使って、Webホスティングする方法も使えそう
Amplifyの参考となるハンズオン資料:
PrivateLink for S3
builders.flashの「たくさんの写真の中からうちの子 (猫) をみつけよう ! 〜機械学習と Amazon Elasticsearch Service で類似画像検索」を実施
ES起動までの時間などに、以下の毎日AWSを視聴
https://www.youtube.com/watch?v=fLVySdNaJRM
https://www.youtube.com/watch?v=VUMF7hNdGgc
https://www.youtube.com/watch?v=20xdVkiPYmI
https://www.youtube.com/watch?v=o0li5hhHdJI
https://www.youtube.com/watch?v=F1s7hKoz2hg
はじめてのAWS: どこからはじめてみるといいのか？
QwikLabsで、タイトルが「Introduction to ...」といった入門編ラボをやってみる:
「AWS Training and Certification」の無料動画講座を受けてみる
AWS Budgetで予算を管理したり、請求画面を確認したり
たくさんサービスがあるので、まずはEC2/S3あたりから触り始めて、その後興味のある分野のサービスにいくといいかも
いろいろお話
AWSの新サービスのキャッチアップはどうするの？
興味のあるもの数個は調べて使ってみる。あとは必要になりそうなときに調べてみる。
使ったことないサービスの新機能は、調べても良さがよくわからない
re:Inventあたりはまとめサイトをうまく活用する
サービスを全て覚える必要はないので、無料で参加できる個別相談会でAWSのSAの人に相談するのもアリ
基本サービスのハンズオンも充実している
Terraform とかの勉強会ってもうやったの？
Terraformはやってない
CDKは使ってて書きやすい（個人的に）
CloudFormation / CDK / Terraform は個人的な好みと業務で扱うチームの特性に応じて、選定するといいと思う
地方(新潟)勉強会あるあるネタのお話
connpass以外にもdoorkeeperやtechplayもあるので、各種プラットフォームで勉強会探して参加してみる。
大阪リージョンについての記事を見る
使えるサービスなど
お悩み相談
さくらのVPSとAWSの違いは？
お手軽に仮想サーバ借りたければ、月額課金の「さくらのVPS」や「Amazon Lightsail」を
プライベートネットワーク構築など、様々なネットワーク要件を満たす必要がある場合は「Amazon VPC」を構築して、その中に「Amazon EC2」を
用途に応じて、適切なサービスを選ぶといいよ
費用はサービス毎に異なる？
サービス毎に異なります。
AWS認定の「ソリューションアーキテクトアソシエイト」の勉強方法は？
実際にサービス触りながら学ぶのが、一番身につく
セルフペースラボ(QwikLabs)の入門ラボやソリューションアーキテクトアソシエイト向けのクエストをやってみるのもオススメ 大阪リージョンおさらい
CloudShellは大阪リージョンではまだ使えないので、東京リージョンでCloudShellを起動して以下のAWS CLIコマンドを実行してみる
aws ec2 describe-availability-zones --region ap-northeast-3
雑談
Fargateのコンテナ内にあるサービスに、Systems Managerのポートフォワーディング使って接続できるかどうか試したけど、接続できなかった。
Fargateまではポートフォワーディングできそうだけど、SSMだけだとコンテナ内までは繋げられなそう。
さらに一段かましてポートフォワーディングできれば届くかも。
お悩み相談
ECSコンテナからS3にファイルをPUTしたいのだけど、うまくできない。バケットをパブリックアクセスONにするとPUTできるけど、パブリックアクセスONにはしたくない。
コンテナからバケットまでは通信できている模様。
IAMロールの権限設定を見直すか、認証情報が意図せず別のもので置き換わっているとか、確認した方がよさそう
この記事を参考にしてみるといいかも
ECS Execがリリース
障害調査に使えそう
AWS Fault Injection Simulatorが登場
本番環境で試す勇気はないけど、テスト環境であればいろいろ試して遊べそう
障害発生時の対応フローを見直すのにも使えそう
AWS CLIの認証情報の優先順の確認
お悩み相談
Aurora Serverless (PostgreSQL) で処理中にコネクションが切れてしまう
CloudWatch LogsにAurora Serverlessのログを出力して、Aurora Serverlessで何が起きているか確認してみよう
通常のAuroraでも起きるの確認してみよう (例えばt系インスタンスで試す)
JAWS DAYS 2021や過去のJAWS-UGのイベントについてお話
S3 Object Lambda
S3アクセスポイントとは？
アクセスポイント毎にS3へのアクセス制御を行うための機能。re:Invent 2019で発表。
S3アクセスポイント使わないで、VPCからのアクセスのみに制限かける方法は？
バケットポリシーで設定する方法がある
「Amazon EFS を利用して AWS Fargate 上の Amazon EKS でステートフルなワークロードを実行する」を見る
気になるネタを見ていく
IAM Access Analyzerによって、過去のアクティビティに基づいたIAMポリシーを生成してくれる新機能
EC2 Serial Console
Amazon Lexがようやく日本語化
AWS CDK ベストプラクティス
Golang で AWS CDK
AWS Summit Online Japan
セッション概要を見ていく
参加申込も実施
気になる記事
AWS WAFでBot Controlが利用可能に
気になるネタを見ていく
cfn-lint
AWS ChatbotがAmazon EventBridgeのイベントに対応
AWS Chatbotは「ChatOps」のためのサービス。「ChatBot」のためのサービスは Amazon Lex。
IAM Access Analyzer ふりかえり
IAMロールのアクセス券絞り込みにも使える
参加者からの気になるネタ
マイAMIから起動したEC2にIAMロールを付与したのに、他のサービスにアクセスできない事象
ルーティングテーブルがおかしくて、メタデータにアクセスできない
この記事の内容が対策としていいかもしれない
Windows ServerのEC2インスタンスではインスタンスメタデータに対するルートが追加されています。 Windows Server 2012 R2まではEC2Configの機能によりインスタンスの起動時に都度ルートが設定されていたのですが、Windows Server 2016からはこの挙動が若干変わり、EC2Launchの機能によりインスタンスの作成時に1回だけ固定ルートを追加する様になっています。
2020年7月にEC2LaunchのメジャーバージョンアップであるEC2Launch v2がリリースされました。このバージョンでは実装がPowerShellモジュールからWindowsサービスに戻り、ルート情報を更新するタイミングおよび設定内容がEC2Configと同様になりました。(固定ルートではなくアクティブルートにのみルート情報を登録)
このため本記事の問題も解消されています。
EC2Launch v1で、Windows Server 2016からのEC2ではルート情報が固定されるらしい。EC2Launch v2では解消されているとのこと。
EC2 WindowsのPingが通らない
セキュリティグループでICMPのインバウンドを許可してあげること
WindowsファイアウォールでICMPのインバウンドを許可してあげること
SageMaker Autopilotを試してみた
Autopilotは機械学習モデルを自動的に作成してくれるサービス。データから適切なアルゴリズムを選定し、最適なパラメータを探索して決定してくれる。
JumpStartとの違いは？
JumpStartはTensorFlow HubやPyTorch Hubで公開されたモデルを使って簡単に学習できるようにしたサービス。モデルのアルゴリズムは利用者が選ぶ。AutopilotはモデルのアルゴリズムはAutopilot側が自動で選ぶ。
JumpStartはTensorFlow HubやPyTorch Hubで公開されている画像分類や自然言語処理などが行えるが、Autopilotはテーブル形式のデータしか扱えない。
AWS Summit Online Japan は来週開催
気になるネタをみていく
CloudFront Functionsがリリース
DevOps GuruがGA
Fargate のストレージ
同一AZ内にとどまる通信のVPC Peeringのデータ転送料金が無料に
AWS Summit Online Japan の気になる講演をみていく (5/31までオンデマンド配信)
基調講演
AWS における 安全な Web アプリケーションの作り⽅
AWS WAF や Secret Manager
Open-source observability at AWS 可観測性を⽀えるOSS とAWS の『いま』を知る
CloudWatch Logs / CloudWatch / X-Ray のマネージドサービスと、Fluentd / Prometheus / OpenTelemetry などのOSSで可観測性
2021#17「マイAMIから起動したEC2にIAMロールを付与したのに、他のサービスにアクセスできない事象」の調査結果
EC2Launchはv1だった。
EC2Launchをv2に移行することで解決。
最新の「Windows_Server-2019-Japanese-Full-Base-2021.04.14 - ami-0a8f70a19608d9e8f」でも、EC2Launchはv1のようです。
AWS App Runner
公開ロードマップには「プライベートVPN接続」「プライベートエンドポイント」「CodeCommit / GitHub Enterprise / Docker Hub などをソースターゲットにする」が予定されているようです。
App Runner の Workshop も公開されていた
お悩み相談
IoT Core で SSL validation failed エラーに遭遇
以下の記事で ATS のエンドポイントを設定したが、エンドポイントと通信できなかった
応急処置として、certifi ライブラリのバージョンを変更したところ、エラー解消
原因が分かり次第、改めてご報告
App Runnerの勉強会
気になる記事
マイクロサービス入門
マイクロサービスの基本をおさえる
AWS SDK for Rust アルファリリース
CloudFormation Guard 2.0 が GA
Amplify Hosting にて、Next.jsのSSRサポート
AWS Application Migration Service が GA
Amazon QuickSightのBIダッシュボードで小売りデータを分析する
お悩み相談
クロスアカウントでARNの共有とか、どうすればいいのか？
Assume Role で、必要最小限の権限のアカウントからスイッチして必要な権限を得られれば良さそう。
この記事を参考にしてみてください
気になる記事
Systems Manager Incident Manager
Amazon Location Service が GA
お悩み相談
CloudFront + S3 での Nuxt.js の SPA の構築がうまくいかない
Amplifyを使うと、幸せになるかもしれない。SSRサポートもあるし。
AmplifyはCloudFront + S3をラップしているから、面倒なことはAmplifyがしてくれるからオススメ
上限緩和の申請はサポート経由なのか？
今はほとんどのサービスが「サービスクォータ」経由で申請する。申請後は翌日には反映される。
即日反映ではないので、事前に計画は必要。
気になる記事
ECS Anywhere で おうちクラスタ
Raspberry Pi 4 × 4ノードのクラスタ
Site-to-Site VPNでAWS上のVPC内リソースと接続
Glue Studioでコードエディタが利用可能に
サーバーワークスの毎日AWSでも取り上げてた
https://www.youtube.com/watch?v=fagUm-2h4dY
雑談
Terraform が GA
Gather.Town 使ってみたよ
気になる記事
AWS Proton が GA
S3 / DynamoDB データ移行
DynamoDBのデータをS3にエクスポートする機能
情報共有
AWS Builders Online Series
AWSome Day Online Conference
S3のレプリケーション先のオブジェクトに、Storage Gateway経由でアクセス時にエラー
Storage Gatewayにkmsへの読み取り許可のポリシーを付与したら、アクセスできるようになった
⇒もしかすると、 aws:ViaAWSServiceの条件キーをうまく使うと良いかもしれない
気になる記事
Step Functions Workflow Studio
Step Functions の料金
標準ワークフローは状態遷移回数で課金
Expressワークフローはリクエスト数×実行期間(GB-秒)で課金
AWSでの負荷分散テスト
コンテナによる負荷機能ソリューションがCloudFormationベースで公開されてる
JMeterスクリプトも使える
サーバーレスなUIテスト
Seleniumが動くLambda上で各ブラウザによるUIテストを実行、結果を出力
実行時の内容を動画で残せる
コンテナビルド、CI/CD、ffmpeg実行、Step Functionsなどの要素が参考になる
気になる記事
プロビジョンドAuroraクラスタとAurora Serverless v1の間でクローニングが可能
Auroraのクローニングは、実態はすぐにコピーしないのですぐ作れる。SQLクエリ実行の際に必要な分だけコピーされるので、オーバーヘッドはある
本番環境のDBを検証用に別で用意して作業したい場合に有用。
App Runner のイベント多いよね
AWSJ亀田さんから、特別にApp Runnerのデモを見せていただく
CodeCommitを色々触っている
Builders Online
気になるセッション - 後で見る
AWSコンテナワークロードはじめの一歩
サーバーレスのユースケースと開発ことはじめ
サーバーレスのユースケースって、このサイトをベースにしているのかな？
お悩み相談
SQSとLambdaで、メッセージの内容が大きすぎてエラーになることがあるけど、うまく確認ができない
SQSの前段にSNSを置いて、SNSでファンアウトしてメッセージ内容を確認してみるのがいいかも
SQSにDead Letter Queueを設置して、エラーメッセージをDLQ経由で通知して確認してみる方法もある
SQSとLambdaで、Lambdaを同時実行させないようにできるのか？
Lambdaの同時実行数を1にする → SQSにはメッセージ溜まるので、Lambdaが処理を1つずつ実行してくれるはず
または、DynamoDBで処理の実行を制御するフラグを保存していくと1つずつ実行できるはず
気になる記事
AthenaでParameterized Queriesが利用可能に
気になる記事
AWS Storage Gateway が Amazon S3 および Amazon S3 Access Points の AWS Privatelink のサポートを追加
セキュリティグループの各ルールにリソース識別子が追加
この影響なのかは不明だが、セキュリティグループ修正時にエラーが出るケースがあるようです
試してみた
App Runner 試してみた
AWS公式ドキュメントの例を実際にやってみた (Pythonランタイム)
AWS Innovate - Data Edition
2021年8月19日 (木)
Lambdaの同時実行数制御にて、SQSにメッセージ入れてLambda同時実行数1にしたら、うまく1件ずつ処理してくれた
サーバーレスパターンの「イベント駆動の業務処理連携」
SQSの前にSNSを入れるといいよというお話
tfsecが便利
Terraformの静的解析ツール
セキュリティ脆弱性となりやすい箇所を指摘してくれる
気になる記事
AWS SAM Pipelinesが公開プレビュー
Simple File Manager for Amazon EFS
EC2にIPプレフィクスを付与可能に
気になるイベント確認
9/1 AWSome Day Online Conferenceが新しい内容を加えてリニューアル
8/12 そろそろマネージド、クラウドネイティブで行こう!
9/7 Amazon Redshift ハンズオンセミナー
9/21 AWS データ解析系サービス総復習
気になる記事
気のなる記事
SageMaker PipelineがLambda関数の呼び出しをサポート
Cloud9のアップデート
SOAが新試験に。「試験ラボ」が追加された
その他
さくらインターネットが新サービス「Hacobune」をオープンベータとして公開
AWS App Runnerっぽいサービスかな？
Heyが便利だった
サクッと負荷かけて試せる
Elasticのクライアントライブラリ、AWSのElasticsearch Serviceへ接続できなくなった
接続の際は、フォークされたAWSのクライアントライブラリを使用する必要がある
気になる記事
AWS Innovate Data Edition
気になる講演
30 分で学ぶ！中堅・中小企業の方のためのデータ分析はじめの一歩
AWSサービス使って、小さくデータ分析を始める方法がまとまっている
AWS Dev Day Online Japan 申し込み開始
気になる記事
2021#25 (2021/06/24) にも出た、AWSを使った分散負荷テストの実装についての解説記事が出た
IAM Access Analyzerを振り返る
AWS SAMでの、API GatewayのCORS設定
AWSの障害発生
DirectConnect障害が発生している模様
DirectConnect回避策として、VPNとの冗長構成
気になる記事
CloudFormationにロールバック前にトラブルシューティングするオプションが追加
「AWSによるクラウド入門」の資料が良さそう
Docker Desktop 有料化
気になる記事
Amazon FSx for NetApp ONTAP 登場
ECS Exec ふりかえり (2021#11 2021/3/18 (木)にて紹介)
先週のDirect Connect障害について
お悩み相談
WebカラのAPIアクセスの際に、Lambdaだと時間がかかる処理があるのでECSコンテナにしようと思うのだが、API Gatewayの30秒の時間までに応答が返せない。何か方法はないか？
非同期処理にしてしまう方法が考えられる。APIのリクエストを受け付けたら、一旦SQSに投げてAPI Gatewayに応答を返す。SQSのメッセージを読み取ってECSコンテナが動作するようにすれば良さそう。
気になる記事
ALBのバックエンドにLambda起動
CloudFrontでBasic認証
CloudFront Functions を使う方法
Lambda@Edge を使う方法
Amazon MemoryDB for Redis
FAQに「キャッシュ用途ならElastiCache」「超高速のパフォーマンスを持つ耐久性のあるDBならMemoryDB」と使い分けが書いてあった。
WordPressのAurora/MySQL性能比較だけど、MemoryDBはAurora並に速そう
GitHub Actions で 永続的クレデンシャル渡さずに IAM Role
公式アナウンスやドキュメントはないので、実施の際は自己責任で。
今回は開催せず
AWS Dev Day Online Japan
アーカイブは後日公開
資料は発表者によって既に公開されているものもある
気になる記事
NLBのターゲットにALBが登録可能に
LambdaでARM
ECR Publicから直接App Runner起動
気になる記事
CloudFormationでロールバックせずに正常にプロビジョニングしたリソースを残すオプション (再掲)
Step Functions から直接呼べるサービスが増えた
Lambdaでawswranglerを使う
LightsailでWordPressサーバーを立てて、CDNキャッシュも使う設定方法
気になる記事
Macインスタンスが東京リージョンで利用可能
リザーブドインスタンスとSavings Plansの比較
Tips
QwikLabs.com のトップページから AWSラボがなくなった
サブドメインに amazon が入ったドメインからだと AWSラボにたどり着くので注意が必要
Lambda関数のスケーリングで、最初のバースト同時実行後のスケーリングに間に合わずにスロットリングエラーになった
Step Functions で同時実行数を抑えたり、Retryの回数・間隔を調整して回避
Lambdaコンテナイメージの要件
AzCopyをLambdaで動かそうとしたけど、 /tmp 以外の場所に書き込みしようとしているらしく、 permission denied してしまう。 aws s3 sync を動かしたくて、Lambdaでbashコンテナを用意して s3 sync させた
Code Build使って s3 sync もアリだな
本日はもくもく会
serverless framework + cognito + api gatewayでcognito認証付きapi gatewayを作る
気になる記事
AWS CloudFormation のお客様による AWS Systems Manager でのアプリケーションの管理が可能に
AWS Systems Manager Fleet Manager がマネージドインスタンスのアドバンストフィルタリングを提供
AWS re:Invent 2021のバーチャルパスを申し込んでみた
［面白い］一般従業員向けの15分セキュリティ教育動画(日本語あり)がネ申コンテンツな件［Amazon提供］
Redshiftの新しい「クエリエディタ V2」を使ってみた
おまけ
Google CloudでBigQuery OmniがGA
S3にあるデータをBigQueryコンソール上から直接クエリ実行できる
気になる記事
AWS Fargate がAmazon ECS の Windows コンテナをサポート
AWS SAM Accelerate の発表 - クラウドに対してコード変更をすばやくテストする (パブリックプレビュー)
CloudFront単体でレスポンスヘッダーが設定可能
「AWS 設計のベストプラクティスで最低限知っておくべき 10 のこと」
本日はもくもく会
serverless framework + lambda + athena の環境を作り、lambdaでawswrangler使ってAthenaにクエリかけてデータ取得
気になる記事
Amazon ECS がより高速なクラスターオートスケーリングを提供するために容量プロバイダーを改善
［レポート］ハンズオン: AWS Zero Trust Workshop Episode 1 – AWS Security Roadshow Japan 2021
［2021年版］AWSセキュリティ対策全部盛り［初級から上級まで］というタイトルでDevelopersIO 2021 Decadeに登壇しました
［アップデート］AWS WAFのログを直接CloudWatch LogsおよびS3に出力可能になりました
気になる記事
AWS ProtonがTerraformとGitリポジトリからのテンプレート管理をサポート
データ転送の無料枠が拡張され、リージョンからは毎月100GBまで無料。CloudFrontは毎月1TBまで無料。12ヶ月枠は撤廃。
FargateでGraviton2サポート
WindowsインスタンスにSystems Manager Fleet ManagerからRDP接続可能
ドメイン配下のWindowsインスタンスにもログイン可能
Tips
AWS CLI v1とv2で、STSの振る舞いが異なる。
sts_regional_endpoint のデフォルト値が v1 と v2 で異なるので、STS使用する場合、注意が必要
v1: デフォルトは legacy
ap-northeast-1など、ある特定のリージョンでは、グローバルSTSエンドポイント sts.amazonaws.com を使用する。
v2: デフォルトは regional
現在設定されているリージョンのSTSエンドポイントを使用する。
AWS re:Invent 2021
AWS ChatbotがSlackでのAWSリソース管理に対応
ARM系のGPUインスタンスG5gを提供開始
「M6a」第3世代 AMD EPYC プロセッサーを搭載したEC2インスタンスがリリース
AWS Well-Architected Tool でカスタムレンズを作成可能に
CloudWatch でクライアントアプリのモニタリングができる Real-User Monitoring for Amazon CloudWatch(RUM) がリリース
ECRの脆弱性診断にも対応したAmazon Inspector v2が発表
12月11日まで無料で開催中のAWS Jam
EBSスナップショットで「ごみ箱」が使える
Docker オフィシャルイメージが ECR Public で利用可能に
S3のオブジェクトレベルのイベント通知がAmazon EventBridgeとシームレスに統合
AWS re:Invent 2021
Amazon ECRに「プルスルーキャッシュリポジトリ」機能が追加
Amazon CodeGuru Reviewerがシークレットを検出
AWS BugBust re:Invent Challenge
AWS MarketplaceでEKS Anywhere・オンプレ用コンテナイメージが販売
はじめてのAWS re:Inventバーチャル参加
ロボットの管理アプリ構築サービス AWS IoT RoboRunner 登場
Amazon Freshのお店でAmazon GoやAmazon Oneなどのキャッシュレス体験
KubernetesクラスターでNodeの自動スケーリングをするKarpenterがGA
Amazon CloudWatch Evidentlyがリリース
AWS re:Invent 2021
Amazon Braket Hybrid Jobs
Amazon ECRのイメージスキャン拡張版の検証
アプリケーション開発を加速させる AWS サービス最新動向 (Amplify / AppSync)
AWS Graviton3プロセッサを搭載したEC2 C7gインスタンス
Amazon Redshift Serverless
AWS Private 5G
Kinesis Data Streams のオンデマンドモード
機械学習のトレーニングに最適化されたAWS Traniumチップを搭載したEC2 Trn1インスタンス
Sagemaker Canvas
車両データに特化した AWS IoT FleetWise
AWS re:Invent 2021 気になる記事
DynamoDBテーブルの 低頻度アクセス
Amazon SageMaker Serverless Inference
S3バケットポリシーの作成時に、IAM Access Analyzerからのセキュリティ警告、エラーおよび提案が表示
Amazon EMR Serverless
Amazon SageMaker Studio Lab
他トピック
AWSサポートプランに「Enterprise On-Ramp」が追加
2021/12/30 (木) は、お休み